package rdd01.builder

import org.apache.spark.{SparkConf, SparkContext}

object Spark_RDD_Memory_Par {
  //RDD分区和并行度
  def main(args: Array[String]): Unit = {
    val sparkConf=new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc=new SparkContext(sparkConf)
    /*makeRDD()可以传递第二个参数，这个参数表示的是分区的数量
    第二个参数可以不传递参数，而使用makeRDD方法使用的默认值，默认并行度为当前环境中的最大核数
    * */
    val rdd=sc.textFile("data",minPartitions=3)

//    val rdd=sc.makeRDD(List(1,2,3,4,5),numSlices = 3)
    rdd.saveAsTextFile("output")
    sc.stop()
  }

}
